<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=2">
<meta name="theme-color" content="#222">
<meta name="generator" content="Hexo 4.2.0">
  <link rel="apple-touch-icon" sizes="180x180" href="/images/apple-touch-icon-next.png">
  <link rel="icon" type="image/png" sizes="32x32" href="/images/favicon-32x32-next.png">
  <link rel="icon" type="image/png" sizes="16x16" href="/images/favicon-16x16-next.png">
  <link rel="mask-icon" href="/images/logo.svg" color="#222">

<link rel="stylesheet" href="/css/main.css">


<link rel="stylesheet" href="/lib/font-awesome/css/font-awesome.min.css">


<script id="hexo-configurations">
  var NexT = window.NexT || {};
  var CONFIG = {
    hostname: new URL('http://yoursite.com').hostname,
    root: '/',
    scheme: 'Pisces',
    version: '7.6.0',
    exturl: false,
    sidebar: {"position":"left","display":"post","padding":18,"offset":12,"onmobile":false},
    copycode: {"enable":false,"show_result":false,"style":null},
    back2top: {"enable":true,"sidebar":false,"scrollpercent":false},
    bookmark: {"enable":false,"color":"#222","save":"auto"},
    fancybox: false,
    mediumzoom: false,
    lazyload: false,
    pangu: false,
    comments: {"style":"tabs","active":null,"storage":true,"lazyload":false,"nav":null},
    algolia: {
      appID: '',
      apiKey: '',
      indexName: '',
      hits: {"per_page":10},
      labels: {"input_placeholder":"Search for Posts","hits_empty":"We didn't find any results for the search: ${query}","hits_stats":"${hits} results found in ${time} ms"}
    },
    localsearch: {"enable":false,"trigger":"auto","top_n_per_article":1,"unescape":false,"preload":false},
    path: '',
    motion: {"enable":true,"async":false,"transition":{"post_block":"fadeIn","post_header":"slideDownIn","post_body":"slideDownIn","coll_header":"slideLeftIn","sidebar":"slideUpIn"}}
  };
</script>

  <meta name="description" content="Overview　　深度学习允许由多个处理层组成的计算模型学习具有多个抽象级别的数据表示。这些方法极大地提高了语音识别、视觉对象识别、对象检测以及药物发现和基因组学等领域的技术水平。深度学习通过使用反向传播算法来指示机器应该如何改变其内部参数来发现大数据集中复杂的结构，这些内部参数用于从前一层的表示中计算每一层的表示。深度卷积网络在图像、视频、语音和音频处理方面取得了突破，而递归网络则在文本和语音">
<meta property="og:type" content="article">
<meta property="og:title" content="Deep_Learning">
<meta property="og:url" content="http://yoursite.com/2020/02/17/Deep_Learning/index.html">
<meta property="og:site_name" content="SRCNN">
<meta property="og:description" content="Overview　　深度学习允许由多个处理层组成的计算模型学习具有多个抽象级别的数据表示。这些方法极大地提高了语音识别、视觉对象识别、对象检测以及药物发现和基因组学等领域的技术水平。深度学习通过使用反向传播算法来指示机器应该如何改变其内部参数来发现大数据集中复杂的结构，这些内部参数用于从前一层的表示中计算每一层的表示。深度卷积网络在图像、视频、语音和音频处理方面取得了突破，而递归网络则在文本和语音">
<meta property="og:locale" content="en_US">
<meta property="article:published_time" content="2020-02-17T15:14:09.000Z">
<meta property="article:modified_time" content="2020-02-18T02:49:48.043Z">
<meta property="article:author" content="Z.J. Jiang">
<meta property="article:tag" content="SISR">
<meta property="article:tag" content=" FH">
<meta name="twitter:card" content="summary">

<link rel="canonical" href="http://yoursite.com/2020/02/17/Deep_Learning/">


<script id="page-configurations">
  // https://hexo.io/docs/variables.html
  CONFIG.page = {
    sidebar: "",
    isHome: false,
    isPost: true
  };
</script>

  <title>Deep_Learning | SRCNN</title>
  






  <noscript>
  <style>
  .use-motion .brand,
  .use-motion .menu-item,
  .sidebar-inner,
  .use-motion .post-block,
  .use-motion .pagination,
  .use-motion .comments,
  .use-motion .post-header,
  .use-motion .post-body,
  .use-motion .collection-header { opacity: initial; }

  .use-motion .site-title,
  .use-motion .site-subtitle {
    opacity: initial;
    top: initial;
  }

  .use-motion .logo-line-before i { left: initial; }
  .use-motion .logo-line-after i { right: initial; }
  </style>
</noscript>

</head>

<body itemscope itemtype="http://schema.org/WebPage">
  <div class="container use-motion">
    <div class="headband"></div>

    <header class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-brand-container">
  <div class="site-meta">

    <div>
      <a href="/" class="brand" rel="start">
        <span class="logo-line-before"><i></i></span>
        <span class="site-title">SRCNN</span>
        <span class="logo-line-after"><i></i></span>
      </a>
    </div>
        <p class="site-subtitle">SISR-FH</p>
  </div>

  <div class="site-nav-toggle">
    <div class="toggle" aria-label="Toggle navigation bar">
      <span class="toggle-line toggle-line-first"></span>
      <span class="toggle-line toggle-line-middle"></span>
      <span class="toggle-line toggle-line-last"></span>
    </div>
  </div>
</div>


<nav class="site-nav">
  
  <ul id="menu" class="menu">
        <li class="menu-item menu-item-home">

    <a href="/" rel="section"><i class="fa fa-fw fa-home"></i>Home</a>

  </li>
        <li class="menu-item menu-item-tags">

    <a href="/tags/" rel="section"><i class="fa fa-fw fa-tags"></i>Tags</a>

  </li>
        <li class="menu-item menu-item-categories">

    <a href="/categories/" rel="section"><i class="fa fa-fw fa-th"></i>Categories</a>

  </li>
        <li class="menu-item menu-item-archives">

    <a href="/archives/" rel="section"><i class="fa fa-fw fa-archive"></i>Archives</a>

  </li>
  </ul>

</nav>
</div>
    </header>

    
  <div class="back-to-top">
    <i class="fa fa-arrow-up"></i>
    <span>0%</span>
  </div>


    <main class="main">
      <div class="main-inner">
        <div class="content-wrap">
          

          <div class="content">
            

  <div class="posts-expand">
      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block " lang="en">
    <link itemprop="mainEntityOfPage" href="http://yoursite.com/2020/02/17/Deep_Learning/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="Z.J. Jiang">
      <meta itemprop="description" content="about the single image super-resolution and face hallucination">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="SRCNN">
    </span>
      <header class="post-header">
        <h1 class="post-title" itemprop="name headline">
          Deep_Learning
        </h1>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="fa fa-calendar-o"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>

              <time title="Created: 2020-02-17 23:14:09" itemprop="dateCreated datePublished" datetime="2020-02-17T23:14:09+08:00">2020-02-17</time>
            </span>
              <span class="post-meta-item">
                <span class="post-meta-item-icon">
                  <i class="fa fa-calendar-check-o"></i>
                </span>
                <span class="post-meta-item-text">Edited on</span>
                <time title="Modified: 2020-02-18 10:49:48" itemprop="dateModified" datetime="2020-02-18T10:49:48+08:00">2020-02-18</time>
              </span>
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="fa fa-folder-o"></i>
              </span>
              <span class="post-meta-item-text">In</span>
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing">
                  <a href="/categories/Deep-Learning/" itemprop="url" rel="index">
                    <span itemprop="name">Deep Learning</span>
                  </a>
                </span>
            </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
        <h1 id="Overview"><a href="#Overview" class="headerlink" title="Overview"></a>Overview</h1><p>　　深度学习允许由多个处理层组成的计算模型学习具有多个抽象级别的数据表示。这些方法极大地提高了语音识别、视觉对象识别、对象检测以及药物发现和基因组学等领域的技术水平。深度学习通过使用反向传播算法来指示机器应该如何改变其内部参数来发现大数据集中复杂的结构，这些内部参数用于从前一层的表示中计算每一层的表示。深度卷积网络在图像、视频、语音和音频处理方面取得了突破，而递归网络则在文本和语音等序列数据方面取得了突破。</p>
<a id="more"></a>
<h1 id="Introduction"><a href="#Introduction" class="headerlink" title="Introduction"></a>Introduction</h1><p>　　机器学习技术为现代社会的许多方面提供了动力:从网络搜索到社交网络上的内容过滤，再到电子商务网站上的推荐，它越来越多地出现在相机和智能手机等消费产品中。机器学习系统用于识别图像中的对象，将语音转录成文本，将新闻、帖子或产品与用户兴趣进行匹配，并选择搜索的相关结果。这些应用程序越来越多地使用一种称为深度学习的技术。</p>
<p>　　传统的机器学习技术处理原始数据的能力有限。几十年来,构造一个模式识别或机器学习系统需要仔细的工程和相当多的专业知识设计一个特征提取器，这个特征提取器主要改变了原始数据(如图像的像素值)到合适的内部表现形式或特征向量的学习子系统。</p>
<p>　　表示学习（representation-learning）是一组方法，它允许向机器输入原始数据并自动发现检测或分类所需的表示。深度学习方法是具有多层表示的表示学习方法，通过组合简单但非线性的模块获得，每个模块将一个级别的表示(从原始输入开始)转换为更高、更抽象的表示。通过足够的变换组合，可以学习非常复杂的函数。对于分类任务，更高层次的表示将放大输入数据中易于鉴别和抑制不必要方差的某些方面。例如，一个图像以像素值数组的形式出现，而在第一层表示中所学习到的特征通常表示图像中特定方向和位置上边缘的存在或不存在。第二层通常通过发现边缘的特殊排列来检测图案，而不考虑边缘位置的微小变化。第三层可以将图形组合成更大的组合，这些组合对应于熟悉对象的部分，随后的层将检测对象作为这些部分的组合。深度学习的关键方面是：这些层次的特性不是由人类工程师设计的:它们是使用通用的学习过程从数据中学习的。</p>
<p>　　深度学习在解决问题方面取得了重大进展，这些问题多年来一直阻碍着人工智能领域的发展。事实证明，深度非常善于发现高维数据中的复杂结构，因此适用于科学、商业和政府的许多领域。除了打破图像识别和语音识别的记录外，深度学习在预测活动的潜在药物，分析粒子加速器，重建大脑回路和预测非编码DNA突变对基因表达和疾病的影响等方面击败了其他机器学习技术。也许更令人惊讶的是，在自然语言理解的各种任务中，尤其是主题分类、情感分析、问题回答和语言翻译方面，深度学习已经产生了极有希望的结果。</p>
<p>　　我们认为，在不久的将来，深度学习将会取得更多的成功，因为它只需要很少的手工工程，因此可以很容易地利用可用计算和数据量的增加。目前正在为深度神经网络开发的新的学习算法和体系结构只会加速这一进程。</p>
<h1 id="Supervised-learning"><a href="#Supervised-learning" class="headerlink" title="Supervised learning"></a>Supervised learning</h1><p>　　机器学习最常见的形式，不管深度与否，都是监督学习。想象一下，我们想要建立一个系统，可以将图像分类为包含，例如，一所房子，一辆车，一个人或一只宠物。我们首先收集了大量关于房屋、汽车、人和宠物的图像数据，每个图像都有自己的类别。在训练过程中，机器会显示一幅图像，并以分数向量的形式输出，每个类别一个分数。我们希望期望的类别在所有类别中得分最高，但这在训练之前不太可能发生。我们计算一个目标函数，它度量输出分数与期望的分数模式之间的误差(或距离)。然后，机器修改其内部可调参数，以减少这种错误。这些可调参数通常称为权重，它们是实数，可以看作是定义机器输入输出功能的旋钮。在一个典型的深度学习系统中，可能会有数亿个这样的可调权重，以及数亿个用于训练机器的带标签的例子。</p>
<p>　　为了正确地调整权值向量，学习算法计算一个梯度向量，对于每个权值，梯度向量表示如果权值增加一点点，误差将增加或减少多少。然后将权向量调整到与梯度向量相反的方向。</p>
<p>　　目标函数，求所有训练样本的平均值，可以视为高地的海拔的权重向量。负梯度向量表示该地形中最陡下降的方向，使其更接近最小值，此时平均输出误差较低。</p>
<p>　　在实践中，大多数实践者使用一种称为随机梯度下降(SGD)的方法。这包括数据集输入向量，计算输出和错误，计算数据集样本平均梯度，并相应地调整权重。从训练集到目标函数的平均值停止下降，对许多小的数据集重复这个过程。它之所以被称为随机，是因为每个小样本都给出了所有样本平均梯度的噪声估计。与复杂得多的优化技术相比，这个简单的过程通常能以惊人的速度找到一组好的权重。在训练之后，系统的性能在另一组称为测试集的示例上进行测量。这是为了测试模型的泛化能力——它能够在训练中从未见过的新输入上生成合理的答案。</p>
<p>　　目前，机器学习的许多实际应用都是在手工设计的特征之上使用线性分类器。在二分类问题中，二分类器计算特征向量分量的加权和。如果加权和高于阈值，则输入被归类为属于特定类别。</p>
<p>　　自20世纪60年代以来，我们已经知道线性分类器只能将其输入空间分割成非常简单的区域，即由超平面分隔的半空间。但图像和语音识别等问题,需要对输入输出函数无关的输入的变化,如位置的变化,取向或照明的一个对象,或音调的变化或口音的言论不敏感,而特定的微小变化非常敏感(例如,一个白色的区别狼和狼一样的白狗的品种称为萨莫耶德人)。在像素水平上，两个萨摩耶人在不同的姿势和不同的环境下的图像可能会有很大的不同，而萨摩耶人和狼在相同的位置和相似的背景下的图像可能非常相似。浅层网络可能错误的将前者归为不同类而将后者归为同一类。为了使分类器更强大，我们可以使用一般的非线性特征，如核函数方法，但是一般特征，如高斯核函数产生的特征，在与训练集区别很远的图片没有很强的泛化能力。传统的选择是手工设计好的特征提取器，这需要相当数量的工程技能和领域专业知识。但是，如果可以使用通用的学习过程自动地学习好的特性，这一切都可以避免。这是深度学习的关键优势。</p>
<p>　　深度学习体系结构是由简单模块组成的多层堆栈，所有(或大部分)模块都需要学习，其中许多模块计算非线性输入-输出映射。堆栈中的每个模块都对其输入进行转换，以提高表示的选择性和不变性。通过多个非线性层，比如深度为5到20层，系统可以实现极其复杂的输入功能，同时对细微的细节区分萨摩耶德和白狼非常敏感，而对背景、姿势、灯光和周围物体等大的无关变化不敏感。</p>
<h1 id="Backpropagation-to-train-multilayer-architectures"><a href="#Backpropagation-to-train-multilayer-architectures" class="headerlink" title="Backpropagation to train multilayer architectures"></a>Backpropagation to train multilayer architectures</h1><p>　　从最早的模式识别开始，研究人员的目标就是用可训练的多层网络取代手工设计的功能，但是尽管它很简单，解决方案直到20世纪80年代中期才被广泛理解。结果表明，简单的随机梯度下降可以训练多层结构。只要模块的输入和内部权重是相对平滑的函数，就可以使用反向传播程序计算梯度。上世纪七八十年代，几个不同的研究小组独立地发现了这种方法是可行的。</p>
<p>　　计算目标函数相对于多层模块堆栈的权值的梯度的反向传播过程只不过是求导链式法则的应用。关键的观点是，目标对模块输入的导数(或梯度)可以通过对模块输出(或后续模块输入)的梯度进行逆向计算来计算。反向传播方程可以重复地应用于在所有模块中传播梯度，从顶部(网络产生预测的地方)的输出一直到底部(外部输入的地方)。一旦计算了这些梯度，就很容易计算出梯度相对于每个模块的权重。</p>
<p>　　深度学习的许多应用都使用前馈神经网络架构，该架构学习映射固定大小的输入(例如，一个图像)到一个固定大小的输出(例如，每个类别的概率)。从一个层到下一个层，一组单元计算上一层输入的加权和，并通过一个非线性函数传递结果。目前最常用的非线性函数是ReLU，在过去的几十年里，神经网络使用更平滑的非线函数，如tanh(z)，但ReLU通常在多层网络中学习得更快，这使得深度监督网络的训练无需非监督的预训练。不在输入层或输出层的单位通常称为隐藏单位。隐层可以被看作是以非线性的方式扭曲输入，从而使类别由最后一层变为线性可分的。</p>
<p>　　在20世纪90年代后期，神经网络和反向传播在很大程度上被机器学习社区所抛弃，而被计算机视觉和语音识别社区所忽视。人们普遍认为，学习有用的、多阶段的、几乎没有先验知识的特征提取器是不可行的。特别是，人们普遍认为，简单的梯度下降法会陷入局部极小权配置的困境，在这种情况下，任何微小的改变都不能减少平均误差。</p>
<p>　　在实践中，在大型网络中，局部极小值问题很少出现。不管初始条件如何，系统几乎总是能得到相似质量的解。最近的理论和实证结果有力地表明，局部极小值在一般情况下不是一个严重的问题。相反，谷底是由大量的鞍点组合而成，这些鞍点的梯度为零，表面在大多数维度上向上弯曲，在大多数维度上向下弯曲。分析似乎表明，只有少数向下弯曲方向的鞍点数量非常大，但几乎所有鞍点的目标函数值都非常相似。因此，在这些鞍点中，算法陷入哪个鞍点并不重要。</p>
<p>　　人们对深度前馈网络的兴趣在2006年左右重新燃起，由加拿大高级研究所(CIFAR)召集的一组研究人员提供。研究人员引入了无监督学习过程，可以在不需要标签数据的情况下创建多层特征检测器。学习每一层特征检测器的目标是能够重建或模拟下一层特征检测器(或原始输入)的活动。通过使用这个重建目标“预先训练”几层日益复杂的特征检测器，可以将深度网络的权值初始化为可感知的值。最后一层输出单元可以添加到网络的顶部，整个深层系统可以使用标准的反向传播进行微调。这对于识别手写数字或检测行人非常有效，尤其是在标签数据量非常有限的情况下。</p>
<p>　　这种训练前的方法的第一个主要应用是在语音识别方面，它是由于快速图形处理单元(gpu)的出现而得以实现的，这种处理单元便于编程，并且允许研究人员以10到20倍的速度训练网络。在2009年，该方法被用于将从声波提取的系数的短时间窗口映射到一组可能由窗口中心的帧表示的各种语音片段的概率。它在使用小词汇量的标准语音识别基准测试中取得了破纪录的成绩，并很快被开发用于在大型词汇量测试中取得破纪录的成绩。到2012年，许多主要的演讲组织已经在开发2009年的deep net版本，并已经部署到Android手机上。对于较小的数据集，无监督的预训练有助于防止过度拟合，当标记的示例数量较少时，或在转移设置中，可以显著提高泛化效果。一旦使用了深度学习，只需要在小数据集的情况下需要预训练。</p>
<p>　　然而，有一种特殊类型的深度前馈网络比完全连接相邻层的网络更容易训练和泛化。这是卷积神经网络(ConvNet)。在神经网络失宠的时期，它取得了许多实际的成功，最近被计算机视觉界广泛采用。</p>
<h1 id="Convolutional-neural-networks"><a href="#Convolutional-neural-networks" class="headerlink" title="Convolutional neural networks"></a>Convolutional neural networks</h1><p>　　卷积神经网络用于处理多个阵列形式的数据，例如由三个二维阵列组成的彩色图像，其中包含三个彩色通道中的像素强度。许多数据形式是多阵列的形式:信号和序列的一维，包括语言;2D图像或音频声谱图;和3D的视频或体积图像。处理自然信号特性的卷积神经网络有四个关键思想:局部连接、权值共享、池化和多层使用。</p>
<p>　　一个典型的卷积神经网络的结构(图2)是由一系列阶段构成的。前几个阶段由两种类型的层组成:卷积层和池化层。卷积层中的单元组织在特征图中，每个单元通过一组称为卷积核的权值连接到前一层特征图中的局部patch。这个局部加权和的结果然后通过一个非线性，如ReLU。feature map中的所有单元共享同一个过滤库。同一层的不同的特征图使用不同的卷积核。设计这样结构的原因有两个：首先，在像图像这样的数组数据中，局部通常高度相关，形成易于检测的独特的局部基序。其次，图像和其他信号的局部统计不受位置的影响。换句话说，如果一个基元可以出现在图像的一个部分，它就可以出现在任何地方，因此，在不同位置的单元共享相同的权重，并在阵列的不同部分检测相同的模式。从数学上讲，特征图的滤波操作是一个离散卷积，因此得名。</p>
<p>　　虽然卷积层的作用是检测前一层特征的局部连接，但池化层的作用是将语义上相似的特征合并为一个。由于形成图案的特征的相对位置可能有所不同，因此可以通过对每个特征的位置粗粒度化来可靠地检测图案。一个典型的池单元计算一个特征映射(或几个特征映射)中单元的局部补丁的最大值。相邻的池单元从移动了不止一行或一列的补丁中获取输入，从而减少了表示的维数，并为小的移动和扭曲创建了不变性。两到三个阶段的卷积、非线性和池化叠加，然后是更多的卷积和全连接层。通过卷积神经网络的反向传播梯度与通过常规深度网络一样简单，允许对所有滤波器组中的所有权值进行训练。</p>
<p>　　深度神经网络利用了许多自然信号是组成层次的特性，在这种特性中，通过组合较低层次的特征来获得较高层次的特征。在图像中，局部的边缘组合形成图形，图形组合成部分，部分形成对象。从语音到电话、音素、音节、单词和句子，在语音和文本中也存在类似的层次结构。当前一层中的元素在位置和外观上发生变化时，池允许表示变化非常小。</p>
<p>　　卷积神经网络中的卷积和汇聚层直接受到视觉神经科学中简单细胞和复杂细胞这一经典概念的启发，其整体架构让人联想到视觉皮层腹侧通路中的ＬＧＮ-V1-V2-V4-IT层次结构。当卷积神经网络模型和猴子被展示出同样的结果时，卷积神经网路中高级单元的激活解释了猴子大脑皮层中160个随机神经元的一半方差。卷积神经网络起源于认识机，它的架构有点类似与新认识机器，但是没有端到端的监督学习算法（比如，反向传播）。使用一种称为时滞神经网络的原始一维卷积神经网络来识别音素和简单单词。</p>
<p>　　卷积网络在20世纪90年代初就有了大量的应用，最早出现在语音识别和文件读取的时滞网络中。文档读取系统使用了与实现语言约束的概率模型联合训练的卷积神经网络。到20世纪90年代末，这一系统已经读取了超过10%的美国支票。后来，微软公司开发了一系列基于卷积神经网络的光学字符识别和手写识别系统。20世纪90年代初，ConvNets也被用于自然图像中的面部和手部的目标检测，面部识别。</p>
<h1 id="Image-understanding-with-deep-convolutional-networks"><a href="#Image-understanding-with-deep-convolutional-networks" class="headerlink" title="Image understanding with deep convolutional networks"></a>Image understanding with deep convolutional networks</h1><p>　　自本世纪初以来，卷积神经网络在图像中目标和区域的检测、分割和识别等方面取得了很大的成功。这些都是标签数据相对丰富的任务，如交通标志识别，生物图像的分割，特别是连接体的分割，以及在自然图像中对人脸、文本、行人和人体的检测。最近，卷积神经网络的一个主要的实际成功是人脸识别。<br>　　重要的是，图像可以在像素级别被打上标签，这种方法在自动移动机器人和自动驾驶有广泛的应用。Mobileye和NVIDIA公司基于卷积神经网络的方法设计汽车视觉系统。在自然语言理解和语音识别上卷积神经网络应用越来越重要。<br>　　尽管取得了这些成功，但在2012年的ImageNet竞赛之前，主流的计算机视觉和机器学习社区在很大程度上抛弃了ConvNets。当深度卷积网络应用于包含1000个不同类别的大约100万张网络图像的数据集时，它们获得了特定的结果，几乎将最佳竞争方法的错误率降低了一半。这一成功来自于高效地使用gpu、ReLUs、一种称为dropout的新正则化技术，以及通过变形现有示例来生成更多训练示例的技术。这一成功带来了计算机视觉的革命;卷积神经网络现在是几乎所有识别和检测任务的主要方法，在一些任务上接近人类的性能。最近的一个令人震惊的演示结合了ConvNets和循环网络模块，用于生成图像字幕（图３）。<br>　　最近的ConvNet架构有10到20层ReLUs、数百万重的hun- dreds和数十亿个单元之间的连接。两年前，训练这样的大型网络可能只需要几周时间，但硬件、软件和算法并行化方面的进展，已将训练时间缩短至几个小时。<br>　　基于convnet的视觉系统的性能已经引起了包括google、facebook、Microsoft、IBM、Yahoo在内的大多数主要技术公司的关注.<br>　　ConvNets很容易适应高效的硬件实现在芯片或现场可编程门阵列。英伟达(NVIDIA)、移动眼(Mobileye)、英特尔(Intel)、高通(Qualcomm)和三星(Samsung)等多家公司都在开发ConvNet芯片，以便在智能手机、相机、机器人和自动驾驶汽车上实现实时视觉应用。</p>
<h1 id="Distributed-representations-and-language-processing"><a href="#Distributed-representations-and-language-processing" class="headerlink" title="Distributed representations and language processing"></a>Distributed representations and language processing</h1><p>　　深度学习理论表明，与不使用分布式表示的经典学习算法相比，深度学习网络有两个不同的本质优势。这两个优点都来自于组合的强大功能，并且依赖于具有适当组件结构的底层数据生成分布。首先，学习分布式表示使学习到的特征值的新组合泛化超过了在训练中看到的值（例如，对于n个二进制特征，2n个组合是可能的）第二，在一个深网中组成表现层带来另一个指数优势的潜力(深度指数)。<br>　　多层神经网络的隐含层学习以一种容易预测目标输出的方式重新发送网络的输入。通过训练一个多层神经网络来预测一个局部序列中的下一个单词，可以很好地证明这一点。上下文中的每个单词都以1 / n向量的形式呈现给网络，即一个组件的值为1，其余的值为0。在第一层中，每个单词创建不同的激活模式或单词向量。在语言模型中，网络的其他层学会将输入单词vec- tor转换为预测下一个单词的输出单词向量，该向量可用于预测词汇表中任何单词作为下一个单词出现的概率。网络学习包含许多活动部件的词向量，每个部件都可以被解释为词的一个单独特征，这在学习符号的分布式表示的上下文中首先得到了证明。这些语义特征在输入中没有明确地表现出来。它们是通过学习过程发现的，是将输入和输出符号之间的结构化关系分解为多个微观规则的好方法。当单词序列来自真实文本的大型语料库，并且单个的微观规则不可靠时，学习单词向量也非常有效。例如，当被训练预测新闻故事中的下一个单词时，周二和周三所学的单词vector非常相似，瑞典和挪威的单词vectors也很相似。这种表示被称为分布式表示，因为它们的元素(特征)不是相互排斥的，它们的许多配置对应于观察数据中看到的变化。这些词向量由习得的特征组成，这些特征不是由专家事先确定的，而是由神经网络自动发现的。从文本中学习的单词的向量表示<br>　　表征问题是认知的逻辑启发范式和神经网络启发范式之间争论的核心。在逻辑启发的范例中，一个符号的实例是某种东西，其唯一的属性是它与其他符号实例是相同或不相同的。没有与其使用有关的内部结构;而要用符号进行推理，就必须将它们与理性选择的推理规则中的变量绑定在一起。相比之下，神经网络只使用大的活动向量、大的权值矩阵和标量非线性来执行</p>
<h1 id="Recurrent-neural-networks"><a href="#Recurrent-neural-networks" class="headerlink" title="Recurrent neural networks"></a>Recurrent neural networks</h1><p>　　当反向传播首次被引入时，它最激动人心的用途是训练递归神经网络(RNNs)。对于涉及顺序输入的任务，如语音和语言，通常最好使用rns(图5)。RNNs每次处理一个输入序列中的一个元素，在它们的隐藏单元中维护一个状态向量，该状态向量隐式地包含关于序列中所有过去元素的历史的信息。当我们考虑不同离散时间步长的隐藏单元的输出时，就好像它们是深层多层网络中不同神经元的输出(图5，右)，我们就可以清楚地知道如何应用反向传播来训练RNNs。<br>　　rns是非常强大的动态系统，但是对它们进行训练已经证明是有问题的，因为反向传播的梯度在每个时间步长时要么增加要么减少，所以在许多时间步长时，它们通常会爆炸或消失。<br>　　由于RNNs在结构上的进步，以及训练它们的方法，人们发现RNNs非常善于预测文本中的下一个字符或序列中的下一个单词，但它们也可以用于更复杂的任务。例如，在一次一个单词地阅读一个英语句子之后，可以训练一个英语编码器网络，使其隐藏单元的最终状态向量能够很好地表示句子所表达的思想。这个思想向量可以作为(或作为额外的输入)一个联合训练的法语译码器网络的初始隐藏状态，它输出法语翻译的第一个单词的可编程性分布。如果从这个分布中选择一个特定的第一个单词并将其作为输入提供给解码器网络，那么它将输出翻译的第二个单词的概率分配，以此类推，直到选择一个句号。总的来说，这个过程根据取决于英语句子的概率分布生成法语单词序列。这种执行机器翻译的相当天真的方法很快就与最先进的方法形成了竞争，这引起了人们的严重怀疑:理解一个逻辑是否需要任何类似于内部符号表达式的东西，而这些符号表达式是由推理规则操纵的。<br>　　不需要将法语句子的意思翻译成英语句子，你可以学习将图像的意思翻译成英语句子(图3)。解码器是一个类似于机器翻译和神经语言建模的RNN。最近人们对这类系统的兴趣激增。<br>　　RNNs一旦及时展开(图5)，可以看作是所有层权值相同的非常深的前馈网络。尽管它们的主要目的是学习长期的依赖关系，但理论和经验证据表明，学习长时间地存储信息是困难的。<br>　　为了解决这个问题，一种方法是使用显式内存来扩充网络。第一个提议是长短时记忆(LSTM)网络，它使用特殊的隐藏单元，其自然行为是长时间记住输入。一个特殊的单位称为存储单元就像蓄电池或封闭的漏水的神经元:它有一个连接到自己的下一个时间步的重量,所以它拷贝自己的实值状态和积累外部信号,但这self-connection由另一个单位,学会用乘法封闭的决定时。<br>　　LSTM网络后来被证明比传统的RNNs更有效，特别是当它们每一个时间步都有好几层时，使得整个语音识别系统能够从声学一直到转录中的字符序列。LSTM网络或相关形式的门控单元目前也用于在机器翻译方面表现良好的编码器和解码器网络。<br>　　在过去的一年里，几位作者提出了不同的建议，用内存模块扩充RNN。建议包括神经图灵机，其中网络由RNN可以选择从88读写的“磁带状”存储器扩充，以及存储器网络，其中规则网络由一种联想存储器89扩充。内存网络在标准问答基准测试中取得了卓越的性能。这个记忆是用来记住这个故事的，网络随后被要求回答问题。<br>　　除了简单的记忆，神经图灵机和机器记忆网络也被用于通常需要推理和符号处理的任务。神经图灵机可以教算法。个排序的符号列表，当它们的输入由一个未排序的序列组成时，其中每个符号都伴随着一个表示其在列表中的优先级的实值。记忆网络可以被训练成在类似文本冒险游戏的环境中跟踪世界的状态，在阅读一个故事后，它们可以回答需要复杂推理的问题。在一个测试示例中，网络显示了一个句话的《指环王》版本，并正确地回答了诸如“佛罗多现在在哪里?”</p>
<h1 id="The-future-of-deep-learning"><a href="#The-future-of-deep-learning" class="headerlink" title="The future of deep learning"></a>The future of deep learning</h1><p>　　无监督学习在激发人们对深度学习的兴趣方面起到了催化作用，但自那以后，纯监督学习的成功给它蒙上了一层阴影。虽然我们没有在这篇综述中关注它，但我们预计从长远来看，无监督学习将变得更加重要。人类和动物的学习在很大程度上是无监督的:我们通过观察世界来发现世界的结构，而不是通过被告知每个物体的名称。<br>　　人类视觉是一个主动的过程，它以一种智能的、特定于任务的方式，使用一个小的、高分辨率的中央凹和一个大的、低分辨率的环绕物，依次对光学阵列进行采样。我们期望未来在视觉方面的大部分进步来自于端对端训练的系统，并将卷积神经网络与使用强化学习来决定往哪里看的结合起来。将深度学习和控制-强制学习相结合的系统还处于起步阶段，但它们在分类任务上已经超过了被动视觉系统，并在学习扮演许多不同角色方面产生了令人印象深刻的结果。<br>　　自然语言理解是另一个领域，在这个领域里，深入的学习将在未来几年里产生巨大的影响。我们期望使用RNNs来理解句子或整个文档的系统在学习选择性地专注于一个部分的策略时将变得更好。<br>　　最终，人工智能的重大进步将通过将表征学习与复杂推理相结合的系统实现。虽然深度学习和简单推理已经被用于语音和手写识别很长一段时间了，但是需要新的范式来取代基于规则的符号表达式操作，用大型向量上的操作来实现。</p>

    </div>

    
    
    

      <footer class="post-footer">

        


        
    <div class="post-nav">
      <div class="post-nav-item">
    <a href="/2020/01/12/RankSRGAN/" rel="prev" title="RankSRGAN">
      <i class="fa fa-chevron-left"></i> RankSRGAN
    </a></div>
      <div class="post-nav-item">
    <a href="/2020/02/18/RaGAN-The-relativistic-discriminator-a-key-element-missing-from-standard-GAN/" rel="next" title="RaGAN:The relativistic discriminator: a key element missing from standard GAN">
      RaGAN:The relativistic discriminator: a key element missing from standard GAN <i class="fa fa-chevron-right"></i>
    </a></div>
    </div>
      </footer>
    
  </article>
  
  
  

  </div>


          </div>
          

<script>
  window.addEventListener('tabs:register', () => {
    let activeClass = CONFIG.comments.activeClass;
    if (CONFIG.comments.storage) {
      activeClass = localStorage.getItem('comments_active') || activeClass;
    }
    if (activeClass) {
      let activeTab = document.querySelector(`a[href="#comment-${activeClass}"]`);
      if (activeTab) {
        activeTab.click();
      }
    }
  });
  if (CONFIG.comments.storage) {
    window.addEventListener('tabs:click', event => {
      if (!event.target.matches('.tabs-comment .tab-content .tab-pane')) return;
      let commentClass = event.target.classList[1];
      localStorage.setItem('comments_active', commentClass);
    });
  }
</script>

        </div>
          
  
  <div class="toggle sidebar-toggle">
    <span class="toggle-line toggle-line-first"></span>
    <span class="toggle-line toggle-line-middle"></span>
    <span class="toggle-line toggle-line-last"></span>
  </div>

  <aside class="sidebar">
    <div class="sidebar-inner">

      <ul class="sidebar-nav motion-element">
        <li class="sidebar-nav-toc">
          Table of Contents
        </li>
        <li class="sidebar-nav-overview">
          Overview
        </li>
      </ul>

      <!--noindex-->
      <div class="post-toc-wrap sidebar-panel">
          <div class="post-toc motion-element"><ol class="nav"><li class="nav-item nav-level-1"><a class="nav-link" href="#Overview"><span class="nav-number">1.</span> <span class="nav-text">Overview</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#Introduction"><span class="nav-number">2.</span> <span class="nav-text">Introduction</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#Supervised-learning"><span class="nav-number">3.</span> <span class="nav-text">Supervised learning</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#Backpropagation-to-train-multilayer-architectures"><span class="nav-number">4.</span> <span class="nav-text">Backpropagation to train multilayer architectures</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#Convolutional-neural-networks"><span class="nav-number">5.</span> <span class="nav-text">Convolutional neural networks</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#Image-understanding-with-deep-convolutional-networks"><span class="nav-number">6.</span> <span class="nav-text">Image understanding with deep convolutional networks</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#Distributed-representations-and-language-processing"><span class="nav-number">7.</span> <span class="nav-text">Distributed representations and language processing</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#Recurrent-neural-networks"><span class="nav-number">8.</span> <span class="nav-text">Recurrent neural networks</span></a></li><li class="nav-item nav-level-1"><a class="nav-link" href="#The-future-of-deep-learning"><span class="nav-number">9.</span> <span class="nav-text">The future of deep learning</span></a></li></ol></div>
      </div>
      <!--/noindex-->

      <div class="site-overview-wrap sidebar-panel">
        <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
  <p class="site-author-name" itemprop="name">Z.J. Jiang</p>
  <div class="site-description" itemprop="description">about the single image super-resolution and face hallucination</div>
</div>
<div class="site-state-wrap motion-element">
  <nav class="site-state">
      <div class="site-state-item site-state-posts">
          <a href="/archives/">
        
          <span class="site-state-item-count">42</span>
          <span class="site-state-item-name">posts</span>
        </a>
      </div>
      <div class="site-state-item site-state-categories">
            <a href="/categories/">
          
        <span class="site-state-item-count">11</span>
        <span class="site-state-item-name">categories</span></a>
      </div>
      <div class="site-state-item site-state-tags">
            <a href="/tags/">
          
        <span class="site-state-item-count">1</span>
        <span class="site-state-item-name">tags</span></a>
      </div>
  </nav>
</div>
  <div class="links-of-author motion-element">
      <span class="links-of-author-item">
        <a href="https://github.com/jzijin" title="GitHub → https:&#x2F;&#x2F;github.com&#x2F;jzijin" rel="noopener" target="_blank"><i class="fa fa-fw fa-github"></i>GitHub</a>
      </span>
      <span class="links-of-author-item">
        <a href="/atom.xml" title="RSS → &#x2F;atom.xml"><i class="fa fa-fw fa-rss"></i>RSS</a>
      </span>
  </div>


  <div class="links-of-blogroll motion-element">
    <div class="links-of-blogroll-title">
      <i class="fa fa-fw fa-link"></i>
      Links
    </div>
    <ul class="links-of-blogroll-list">
        <li class="links-of-blogroll-item">
          <a href="http://www.njust.edu.cn/" title="http:&#x2F;&#x2F;www.njust.edu.cn" rel="noopener" target="_blank">南京理工大学</a>
        </li>
        <li class="links-of-blogroll-item">
          <a href="http://ehall.njust.edu.cn/new/index.html" title="http:&#x2F;&#x2F;ehall.njust.edu.cn&#x2F;new&#x2F;index.html" rel="noopener" target="_blank">南京理工大学智慧服务</a>
        </li>
        <li class="links-of-blogroll-item">
          <a href="http://lib.njust.edu.cn/" title="http:&#x2F;&#x2F;lib.njust.edu.cn&#x2F;" rel="noopener" target="_blank">南京理工大学图书馆</a>
        </li>
    </ul>
  </div>

      </div>

    </div>
  </aside>
  <div id="sidebar-dimmer"></div>


      </div>
    </main>

    <footer class="footer">
      <div class="footer-inner">
        

<div class="copyright">
  
  &copy; 
  <span itemprop="copyrightYear">2022</span>
  <span class="with-love">
    <i class="fa fa-user"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">Z.J. Jiang</span>
</div>
  <div class="powered-by">Powered by <a href="https://hexo.io/" class="theme-link" rel="noopener" target="_blank">Hexo</a> v4.2.0
  </div>
  <span class="post-meta-divider">|</span>
  <div class="theme-info">Theme – <a href="https://pisces.theme-next.org/" class="theme-link" rel="noopener" target="_blank">NexT.Pisces</a> v7.6.0
  </div>

        








      </div>
    </footer>
  </div>

  
  <script src="/lib/anime.min.js"></script>
  <script src="/lib/velocity/velocity.min.js"></script>
  <script src="/lib/velocity/velocity.ui.min.js"></script>

<script src="/js/utils.js"></script>

<script src="/js/motion.js"></script>


<script src="/js/schemes/pisces.js"></script>


<script src="/js/next-boot.js"></script>




  















  

  
      
<script type="text/x-mathjax-config">
    MathJax.Ajax.config.path['mhchem'] = '//cdn.jsdelivr.net/npm/mathjax-mhchem@3';

  MathJax.Hub.Config({
    tex2jax: {
      inlineMath: [ ['$', '$'], ['\\(', '\\)'] ],
      processEscapes: true,
      skipTags: ['script', 'noscript', 'style', 'textarea', 'pre', 'code']
    },
    TeX: {
        extensions: ['[mhchem]/mhchem.js'],
      equationNumbers: {
        autoNumber: 'AMS'
      }
    }
  });

  MathJax.Hub.Register.StartupHook('TeX Jax Ready', function() {
    MathJax.InputJax.TeX.prefilterHooks.Add(function(data) {
      if (data.display) {
        var next = data.script.nextSibling;
        while (next && next.nodeName.toLowerCase() === '#text') {
          next = next.nextSibling;
        }
        if (next && next.nodeName.toLowerCase() === 'br') {
          next.parentNode.removeChild(next);
        }
      }
    });
  });

  MathJax.Hub.Queue(function() {
    var all = MathJax.Hub.getAllJax(), i;
    for (i = 0; i < all.length; i += 1) {
      element = document.getElementById(all[i].inputID + '-Frame').parentNode;
      if (element.nodeName.toLowerCase() == 'li') {
        element = element.parentNode;
      }
      element.classList.add('has-jax');
    }
  });
</script>
<script>
  NexT.utils.getScript('//cdn.jsdelivr.net/npm/mathjax@2/MathJax.js?config=TeX-AMS-MML_HTMLorMML', () => {
    MathJax.Hub.Typeset();
  }, window.MathJax);
</script>

    

  

</body>
</html>
